package com.jinghang.spark_base._010_RDD

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object CreateRdd {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("CreateRdd").setMaster("local[1]")
    val sc = new SparkContext(conf)
    sc.setLogLevel("ERROR")

    val data = Array(1, 2, 3, 4, 5)

    /*
        Distribute a local Scala collection to form an RDD.
          分发一个本地Scala集合来形成一个RDD
          分发一个本地Scala集合到集群中的多个节点的内存中来形成一个RDD
     */
    val rdd = sc.parallelize(data)
    val rdd2 = rdd.map(x => x+1)

    /*
        原来RDD是存放在多个机器上
        Return an array that contains all of the elements in this RDD.
        返回包含此RDD中所有元素的以数组形式到一台机器上。
     */
    val array = rdd2.collect()

    array.foreach(println)



  }

}
